异构多智能体 LLM 的免预填充跨家族 KV 缓存迁移
🧭 多智能体异构 LLM 缓存迁移
University of Southern California, USA · Seoul National University, Republic of Korea · New York University, USA
冻结两端模型，通过结构对齐、映射与校准实现跨家族 KV 缓存迁移，免预填充加速异构多智能体通信
📌 工作参考价值（4 点）
- 多角色 Agent 系统若采用不同模型家族（如大模型做规划、小模型做执行），在共享长上下文（如用户历史、商品列表、prompt 模板）时，优先用 KV cache 迁移替代重新 prefill，可显著降低首 token 延迟。
- 跨模型 KV 对齐可采用“冻结两端 + 小型映射器/校准器”的方式，不扰动原有模型权重，部署风险低；若要落地，可在固定模型对（如主链路模型↔轻量 reranker）预训练映射器。
- 长上下文收益更大（32K 下加速 10.7×），适合电商会话中拼接长商品序列、多轮决策历史；短上下文也有收益但需评估额外映射开销。
- 该方法与文本通信在多智能体基准上表现持平，说明在可靠映射下可无精度损失换取推理加速，适合对延迟敏感的在线 Agent 编排。
每种语言各用其 tokenizer：面向高效多语言 LLM 的模块化 tokenizer
🧭 多语言模块化 tokenizer 与高效训练
Kyutai · Sorbonne Université · CNRS · Univ. Grenoble Alpes · Grenoble INP
提出模块化多语言 tokenizer 与预训练策略，可按语言子集提取子词表并动态使用，降低内存并加速推理
📌 工作参考价值（4 点）
- 部署多语言 LLM 服务（国际化电商搜索、海外广告文案生成）时，可为高频语言子集抽取轻量 subtokenizer，只保留对应子词表，大幅缩小 embedding / output 矩阵，降低内存占用与推理延迟，尤其适合小模型或边缘场景。
- 模块化 tokenizer 思路可迁移到多领域/多场景文本：按业务类目、品牌、商品描述等定制子词表，训练或推理时动态激活子 vocab，减少大而全词表的冗余计算。
- 预训练中按 batch 采样 subtokenizer 并将预测限制在相关词汇子集，既能保持大词表覆盖，又能降低 softmax 开销；可参考用于多任务、多场景 LLM 的训练优化。
- 该方法本质是 tokenizer 与 embedding 层的基础优化，若你的业务使用 LLM 做生成式推荐或 QueryRec，且面临多语言、大词表成本问题，可借鉴其模块化设计；否则业务可借鉴点有限。
Kalman Delta 网络：不确定性感知的关联记忆
🧭 线性注意力 · 状态空间模型 · 不确定性建模
Department of Computer Science, Yale University
将线性注意力循环记忆重构为线性高斯状态空间模型，用卡尔曼滤波跟踪记忆不确定性并提出可并行扫描近似
📌 工作参考价值（4 点）
- 用户长期行为序列建模中若采用线性注意力，可借鉴 KDN 的记忆不确定性机制，通过卡尔曼增益自适应控制写入强度，降低噪声行为对稳定兴趣表征的覆盖风险。
- Agent 长对话/长程任务的状态维护可引入带置信度的增量写入，根据累积证据决定是否更新记忆，提升记忆稳定性与少样本适应能力。
- Diagonal/Isotropic KDN 提供 O(dk)/O(1) 辅助状态并支持并行关联扫描，适合工业级实时推理，可用于构建流式用户兴趣追踪或在线学习模块。
- 若探索生成式推荐中的 Semantic ID 记忆网络，可参考将记忆更新视为状态估计、用变分推断近似后验的思路，处理不确定性和动态环境。
随机注意力：重新思考 KV 缓存淘汰以实现高效推理
🧭 LLM 推理效率 · KV 缓存随机淘汰
Salesforce AI Research · University of Illinois Urbana-Champaign
提出 Random Attention，保留 prompt 并在各注意力头内随机淘汰 KV 缓存，匹配最强选择器同时吞吐提升 32-43%
📌 工作参考价值（4 点）
- 在部署长上下文 LLM 服务（如电商 Agent 的多轮对话或长链推理）时，可将 KV cache 淘汰策略简化为“保留 prompt + 每头随机淘汰”，省去 token 重要性打分，降低额外计算和延迟，实现 32-43% 的推理吞吐提升。
- 显式保护 prompt 是稳定性的关键：随机淘汰由于天然保留 prompt 而表现出与复杂选择器相当的性能，提示我们在设计缓存管理策略时应优先确保 prompt 完整，而非依赖复杂重要性估计。
- 推理轨迹在文本和注意力头两个层面存在冗余，因此随机抽样足以保留必要信息，这对长 CoT 生成场景尤其有借鉴：可放宽对精确 token 选择的假设，采用更轻量的随机策略。
- 可作为强 baseline：在电商搜索推荐系统的 LLM 模块中，如果采用 KV 压缩，先测试随机淘汰，它实现简单、无需训练或计算分数，且能匹配最优方法。
预测之预测：层间激活融合实现LLM单遍幻觉检测
🧭 LLM幻觉检测·隐藏层动态
提出PoP机制，融合跨层隐藏状态捕获层转移不确定性，在单次前向中检测LLM事实错误
📌 工作参考价值（4 点）
- 对LLM生成的推荐文案、商品描述、搜索query等文本，可在单次前向中提取跨层隐藏状态作为事实置信度信号，用于低成本过滤或风险分级，弥补输出token概率的不足。
- PoP的<1.2%延迟开销适合在线生成式推荐系统，可在不增加额外采样的情况下对生成结果做实时健康度评估，触发人工审核或降级。
- 该机制在TruthfulQA上AUROC仅75.5%，且缺乏跨域验证，在电商场景落地前需用自有业务数据验证检测精度与阈值稳定性。
- 层间转移不确定性可作为特征加入现有质量/风控模型，特别针对商品属性、价格、活动规则等事实性易错点。
Daedalus-150M：专为 CPU 推理设计的卷积-注意力混合模型
🧭 高效小型 LLM 架构 · 卷积-注意力混合
用 12 个短卷积层替代多数注意力层，在 CPU 长文本解码时实现 1.76 倍加速且质量不降
📌 工作参考价值（4 点）
- 对于需要在 CPU 或端侧低延迟推理的轻量级模型（如端侧 query 建议、实时 push 文案生成、边缘排序模型），可以尝试用短卷积替代大部分注意力层，减少 KV cache 读取；在长上下文时加速显著，适合长 prompt 或长序列用户行为建模。
- 目标驱动的架构设计：先固定部署环境（单用户、4-bit、普通 CPU），再反向选择模型结构，比“先设计大模型再压缩”更高效；推荐系统在边缘部署小模型时可复用这一思路。
- 在模型选型时采用预先注册对照实验：固定训练数据和模型尺寸，比较不同架构，并事前确定胜利指标，避免事后挑选；业务团队做架构升级时值得借鉴。
- 注意其报告的负面结果：4-bit 量化有不可忽视的质量损失，部分卷积通道实为冗余且难以修剪，词汇表不宜大于模型规模所需；这些小模型工程细节可直接避免踩坑。
BaKron：基于Kronecker因式分解Hessian的高效量化加速
🧭 神经网络量化加速
University of California San Diego · Department of Mathematics · HDSI
利用双侧Kronecker-factored Hessian信息加速自适应舍入量化，复杂度与GPTQ同为立方级但精度更高
📌 工作参考价值（4 点）
- 在电商/推荐系统中部署大模型（如LLM-based推荐）时，可尝试用双侧曲率信息（输出坐标相关性）替代GPTQ仅依赖输入激活的量化方式，提升量化后模型精度。
- BaKron的递归分治与反斜对角并行策略可借鉴到自定义量化优化器中，将全矩阵量化成本从O(n⁴)降到O(n³)，尤其适用于推荐模型中中等规模投影层的高效压缩。
- 方法对基础量化器（如四舍五入、格子量化）和Hessian估计器解耦，允许在工程中灵活替换更精确的曲率近似（如KFAC），平衡精度与计算开销。
- 若直接在向量化权重上应用GPTQ式自适应舍入计算瓶颈过高，可采用BaKron的逐行/列交替更新框架，同时保持并行可行性，适配推荐系统在线serving的延迟要求。
更好的开始，更好的结束：自举迭代自推理蒸馏实现压缩推理
🧭 压缩推理 · 自蒸馏
西安交通大学 · 北京大学
提出 BIRD 两阶段自蒸馏，先引导模型生成简洁推理再在线蒸馏，显著减少推理长度同时提升精度
📌 工作参考价值（4 点）
- 多轮对话或 Agent 推理压缩：两阶段思路可直接迁移——先用简短指令采样高质量响应做 prompt-switch SFT，再上线时用在线蒸馏微调，减少冗长推理 token 消耗
- 搜索/推荐推理链精简：在需要模型生成多步推理（如用户意图分析、长 query 改写）时，用类似方法抑制冗余验证和自我修正，降低延迟
- 蒸馏起始状态优化：避免在噪声前缀上做 KL 蒸馏，先从干净分布启动，再在线策略改进，这对其他在线蒸馏场景（如广告文案生成、商品描述推理）有通用价值
- 长度控制与准确率权衡：简洁预热模型可在不牺牲甚至提升精度下大幅缩短输出，可用于实时性要求高的推荐系统推理节点
TMP：大规模图像生成与编辑的树结构混合剪枝框架
🧭 大规模图像生成模型的结构化剪枝与优化
Multimodal Model Department, Tencent
首个树结构混合策略剪枝框架，统一 MoE 和 DiT 架构，将 80B 混元图像压缩至 20B（75%），质量损失有限，实现单卡推理
📌 工作参考价值（4 点）
- 剪枝策略的混合设计思想可迁移至大规模推荐模型（如多专家用户点击率模型）的压缩：针对不同模块（专家层、注意力层）采用差异化剪枝策略，而非一刀切
- 工程上实现 80B→20B 后单卡（24GB）推理的优化经验（如 KV cache 裁剪、内存调度）对部署巨型推荐模型有直接参考价值
- 树结构搜索最优剪枝率的方法论可借鉴：在推荐系统召回 / 排序模型的剪枝中，自动搜索各层的压缩比，平衡精度与效率
- MoE 架构的剪枝方案（如专家丢弃、路由剪枝）为电商搜索广告中的多专家模型（如多目标专家网络）压缩提供新思路
面向推理模型的价值感知随机 KV 缓存淘汰方法
🧭 LLM 高效推理 · KV 缓存淘汰
University of Southern California · University of Chicago
发现大值状态淘汰导致灾难性重复并利用随机性提升多样性，提出训练无关的 VaSE 方法，4 倍压缩下准确率优于 SOTA
📌 工作参考价值（4 点）
- 在电商/Agent 系统中部署长链推理模型（如复杂商品推荐解释）时，可直接引入 VaSE 降低显存开销，同时避免精度下降。
- 价值保护策略：任何 KV 缓存淘汰方案均可增加按 value 向量范数排序的前 k 个 token 保护步骤，防止高幅值 token 被误删导致生成重复循环。
- 随机化淘汰：在淘汰决策中注入高斯噪声（如基于噪声后的重要性分数排序），可提升缓存多样性，适用于 Agent 多轮对话或推荐理由生成，减少输出退化。
- 与 FlashAttention2 兼容，可实现静态显存分配，减少 OOM 风险，适合长期运行的在线推理服务。